予測符号化(Predictive Coding:PC)
トップダウン(Top-Down)の予測(Prediction)とボトムアップ(Bottom-Up)の感覚入力のエラーを利用して学習する双方向結合を持つネットワーク
予測可能な感覚入力はエラーを生じさせないので、学習が進むにつれてエネルギー効率が良くなるというメリットがある
シナプス前後の活動に基づくlocalな学習が可能であり、生物学的な妥当性がある点でも注目されている
2026/1/6追記
Localな学習というものの、重み輸送問題(weight transport problem)の解決にはなっていないのでそこは疑問
特に非線形な場合
Phaseless Alignment Learning; PALみたいなものはあるが
大きいネットワークにスケールしない問題も気になる点
https://youtu.be/l-OLgbdZ3kk?si=T0Kpd8BlrbpqjVLC
元ネタ
Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects | Nature Neuroscience (1999)
生物の脳との関連について
Predictive Processing: A Canonical Cortical Computation | Neuron (2018)
Canonical Microcircuits for Predictive Coding | Neuron (2012)
Predictive Coding: a Theoretical and Experimental Review | arXiv (2022)
Evaluating the neurophysiological evidence for predictive processing as a model of perception | Annals of the new York Academy of Sciences (2020)
SpikingNeuralNetwork; SNNへの拡張
元ネタはrate codingを仮定してるが、神経細胞はスパイク(Spike)を使っている
Predictive Coding with Spiking Neural Networks: a Survey | arxiv (2024)
自由エネルギー原理(Free Energy Principle; FEP)
MAP推定から不確実性を考慮したベイズ推論へ拡張
The free-energy principle: a unified brain theory?
hl.icon
ホップフィールドネットワーク(Hopfield Network)
Neurocomputing(Technische Universität Chemnitz)
皮質における予測誤差表現について
#2023/6/15